PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives
PlayWorld:以 Agent 玩家为基础的世界模型长程目标基准
🧭 世界模型评估 · Agent 自适应交互
The University of Hong Kong · Kling Team, Kuaishou Technology · The Chinese University of Hong Kong · Zhejiang University
用多模态 Agent 玩家按长期目标交互评测世界模型,揭示当前模型长程一致性与状态演化不可靠
📌 工作参考价值(4 点)
- 评估思路迁移:在推荐/Agent 系统中,用“目标驱动的模拟用户”评估长程交互(如多轮对话推荐、会话搜索),而非固定脚本;Agent 自适应调整动作,更接近真实用户行为,能暴露固定序列评测掩盖的问题。
- 维度拆分:借鉴其将评估拆为几何一致性、交互保真度、状态演化等维度,可对应推荐系统的会话一致性、用户反馈建模、记忆/状态保持等维度,分别设计测试场景,避免单一指标失真。
- 工程实现:使用多模态 Agent 根据观察帧和动作历史动态决定下一步,可复用到对话式推荐评测中,构建“用户模拟器”用于离线评估,降低人工标注成本。
- 注意局限:世界模型与电商场景有距离,但这类“目标驱动交互评估”对评估生成式推荐和个性化 Agent 的长程一致性有一定启发,业务落地需改造。